（来源：上观新闻）
三十年河⏏🇦🇹东三十📉年河西，莫欺少🈷🦞年穷📹🕯。让我们用🚫📠一个简化🤟👨🦰示例说明，假设训🕍🚬练语料🇧🇿包含以下词汇及出♾️现频率：🕴 “hug”🐵📐：10次 “👬pug🏇”：5次 “🎪pun”：12次🐭 “bun”：4🐡次 “hugs🇮🇨🏢”：5次 🙆♂️第一步：将所有词🇨🇺拆分为字符，添👨🔧加结束🐵符 “hug😥” → “h🤙 u g ”🍨🇹🇱 “pug🎇✳” → “p 🥭🐂u g ” ⌨😠“pu⤵n” 👖→ “p u 🎩n ”🚗 “b🇲🇩🚊un” → 💢🦓“b 📏u n ” 🚁“hugs” →🇸🇳 “h u g 👨👨👧👧🔈s ” 初始🕕词汇表🗂📰仅包含基础字👨🚀🛥符：{➿b, g, h,🚢🕳 n, p🍞, s🇵🇷⛄, u,🧛♂️ } 第二🇨🇰步：统🇻🇬🤾♀️计相邻字符对的📵出现频🐗率 “u🇳🇬 g”：🎵🎵15次（来自“🦃🥠hug”的🚿10次 +🎭 “hugs”🚽🕉的5次） “u 🐫n”：16次（🇸🇭来自“pun”🌬的12次 + 📈“bu🧳n”的4次） “🐳p u”：⏪🔣17次（来自🗜“pu🍹👙g”的🚜5次 + “🦓pun”的1🇬🇾2次） 第三🍚👓步：合并最高频字🇹🇨符对 🐶假设“p🔝 u”频率最高🐯（17次😖），创建新符号“😖pu”🍛， 词汇表扩展为🎗🙍：{b, 🐕🐰g, h, n,👨❤️💋👨💤 p, 🇻🇳s, 📆🗻u, , 📳pu}🍢🇸🇽 第四步：🍭迭代重复 继🦟续统计新语料中的🆕字符对🐌😋频率，合并下🦶一个最高⛵频对，直到达到🅿预设的词🙌汇表大小（如GP🚊🇹🇰T-2为50,2🔡♦57个tok🧴👨👨👦👦en）🌴🚛。
技术的生命力在🤞于场景🔻🏵。这套循环到底解😠🙊决什么问题？可💩以设想🛴一个具体场景🦍📑。并且有时候人物🇰🇾🔰表情很丰🥑🙁富，但🧳语气不对🤬💎。它没有把视频🐸🔰模型简单放在🚮一个纯研👯♂️究部门里🇨🇺，其位置反而更靠😮🌋近淘天🗃🇲🇶这样一个交易🇿🇲㊙现场☯🌜。
